Năm 1929, anh gia nhập Đảng Cộng sản Pháp; từng được Đảng bí mật cử đi dự Đại hội Quốc tế cứu trợ công nhân ở Berlin, thủ đô nước Đức và là đại biểu chính thức duy nhất người Việt Nam trong Đảng Cộng sản Pháp tham dự Đại hội lần thứ 10 của Đảng. Tại Đại hội này, Phan Tư Nghĩa thẳng thắn phê phán Tiểu ban Thuộc địa của Đảng Cộng sản Pháp không quan tâm đúng mức đến cuộc đấu tranh đòi quyền độc lập của Việt Nam và các nước Đông Dương, không đấu tranh chống lại cuộc khủng bố trắng của thực dân Pháp ở Đông Dương. Trước thái độ và hành động không thiện chí của một Ủy viên Bộ Chính trị Đảng Cộng sản Pháp, trực tiếp phụ trách Tiểu ban Thuộc địa, đối với Đông Dương và Việt Nam, nhất là khi vị này đưa cả mật vụ của chính quyền thực dân vào Đảng để phá hoại phong trào, Phan Tư Nghĩa tuyên bố ra khỏi Đảng Cộng sản Pháp.